Ông sinh năm 1912 tại xã Xuân Thuỷ, huyện Xuân Trường, Nam Định. Lớn lên, ông tham gia đội nhạc lính khố xanh trực thuộc Toà Thống sứ Bắc Kỳ (thành lập năm 1924, do Camille Parmentier chỉ huy). Sau khi Nhật đảo chính Pháp, Parmentier rời Hà Nội về Pháp, ông được bầu lên làm đội trưởng [1]. Ông còn được gọi với tên Quản Liên. Sau khi Cách mạng tháng 8 thành công, ông cùng 72 nhạc công của đội đi theo Việt Minh, trở thành Ban âm nhạc Giải phóng quân. Trong ngày Quốc khánh 2 tháng 9 năm 1945, đoàn nhạc kèn do ông chỉ huy đã cử hành Tiến quân ca (Văn Cao) trong buổi lễ chào cờ tại Quảng trường Ba Đình. Ông cùng nhạc sĩ Nguyễn Hữu Hiếu đã bàn với Văn Cao thống nhất sửa hai chữ trong Tiến quân ca, cụ thể là rút ngắn độ dài của nốt rê đầu tiên ở chữ "Đoàn" và nốt mi ở giữa chữ "xác" để làm cho bản nhạc khoẻ khoắn hơn[2]. Đoàn còn biểu diễn Vũ khúc tưng bừng (Lương Ngọc Trác), Diệt phát xít (Nguyễn Đình Thi) và một số nhạc phẩm khác. Thời kỳ kháng chiến chống Pháp, dàn nhạc trở thành một tiểu đoàn quân nhạc dưới sự chỉ huy của ông, từng biểu diễn trong ngày đón Trung ương Đảng và Chính phủ cùng Hồ Chủ tịch về Thủ đô (11-1955). Trong suốt những năm kháng Pháp, ông đã phối khí, chuyển soạn nhiều ca khúc cách mạng, đánh dấu bước đi đầu tiên của khí nhạc Việt Nam sau này.

Ông là một trong những người có công xây dựng Đoàn quân nhạc Việt Nam trở thành chính quy. Sau này, ông giữ chức Đoàn trưởng Đoàn quân nhạc Việt Nam và được phong quân hàm Đại tá. Ngoài công việc chỉ huy dàn dựng, ông còn tham gia đào tạo nhiều học sinh, nhiều người đã trở thành những nghệ sĩ uy tín trong và ngoài quân đội. Ngoài ra, ông còn viết một số hoà tấu kèn như: Chiến thắng Phủ Thông, Xuân chiến thắng, Hải cảng về ta, Chúng ta có Bác Hồ, Vọng gác tiền tiêu, Hành khúc tang lễ... Với những đóng góp của mình, năm 1988, ông được phong tặng danh hiệu Nghệ sĩ nhân dân.

Ông mất năm 1991, hưởng thọ 79 tuổi.